Training-Free Looped Transformers
无需训练的循环 Transformer:冻结模型推理时循环层块提升性能
🧭 推理时循环复用层块
在冻结的预训练模型上,通过阻尼子步骤循环中间层块,无需微调或架构改动即可显著提升推理性能
📌 工作参考价值(4 点)
- 可直接对现网 LLM(如 Qwen、DeepSeek 等)在推理时套用循环包装器,无需重新训练或微调,适合快速上线和成本敏感场景。
- 循环中间若干层并除以迭代次数的阻尼策略,可作为一种轻量级「深度增强」手段,在低延时约束下提升模型推理质量,例如用于电商 Agent 的多步推理、复杂指令遵循等。
- 该方法不修改模型权重和架构,可配合现有推理优化(KV cache、量化等),可在已有工程框架中低成本实现。
- 提供的层选择策略(中间层块)和迭代次数阻尼关系,可作为超参直接迁移到其他模型上,用于微调受限环境下的性能补强。